在神经网络的经验风险景观中扁平最小值的性质已经讨论了一段时间。越来越多的证据表明他们对尖锐物质具有更好的泛化能力。首先,我们讨论高斯混合分类模型,并分析显示存在贝叶斯最佳点估算器,其对应于属于宽平区域的最小值。可以通过直接在分类器(通常是独立的)或学习中使用的可分解损耗函数上应用最大平坦度算法来找到这些估计器。接下来,我们通过广泛的数值验证将分析扩展到深度学习场景。使用两种算法,熵-SGD和复制-SGD,明确地包括在优化目标中,所谓的非局部平整度措施称为本地熵,我们一直提高常见架构的泛化误差(例如Resnet,CeffectnNet)。易于计算的平坦度测量显示与测试精度明确的相关性。
translated by 谷歌翻译
Generative adversarial networks are a promising tool for image generation in the astronomy domain. Of particular interest are conditional generative adversarial networks (cGANs), which allow you to divide images into several classes according to the value of some property of the image, and then specify the required class when generating new images. In the case of images from Imaging Atmospheric Cherenkov Telescopes (IACTs), an important property is the total brightness of all image pixels (image size), which is in direct correlation with the energy of primary particles. We used a cGAN technique to generate images similar to whose obtained in the TAIGA-IACT experiment. As a training set, we used a set of two-dimensional images generated using the TAIGA Monte Carlo simulation software. We artificiallly divided the training set into 10 classes, sorting images by size and defining the boundaries of the classes so that the same number of images fall into each class. These classes were used while training our network. The paper shows that for each class, the size distribution of the generated images is close to normal with the mean value located approximately in the middle of the corresponding class. We also show that for the generated images, the total image size distribution obtained by summing the distributions over all classes is close to the original distribution of the training set. The results obtained will be useful for more accurate generation of realistic synthetic images similar to the ones taken by IACTs.
translated by 谷歌翻译
评估药物目标亲和力是药物发现和开发过程中的关键一步,但是在实验上获得此类数据既耗时又昂贵。因此,正在广泛开发用于预测结合强度的计算方法。但是,这些方法通常使用单任务方法进行预测,因此忽略了可以从数据中提取并用于驱动学习过程的其他信息。此后,在这项工作中,我们提出了一种多任务方法来结合强度预测。我们的结果表明,这些预测确实可以通过使用相关任务和多任务诱导的正则化的添加信息来从多任务学习方法中受益。
translated by 谷歌翻译
虽然最近在许多科学领域都变得无处不在,但对其评估的关注较少。对于分子生成模型,最先进的是孤立或与其输入有关的输出。但是,它们的生物学和功能特性(例如配体 - 靶标相互作用)尚未得到解决。在这项研究中,提出了一种新型的生物学启发的基准,用于评估分子生成模型。具体而言,设计了三个不同的参考数据集,并引入了与药物发现过程直接相关的一组指标。特别是我们提出了一个娱乐指标,将药物目标亲和力预测和分子对接应用作为评估生成产量的互补技术。虽然所有三个指标均在测试的生成模型中均表现出一致的结果,但对药物目标亲和力结合和分子对接分数进行了更详细的比较,表明单峰预测器可能会导致关于目标结合在分子水平和多模式方法的错误结论,而多模式的方法是错误的结论。因此优选。该框架的关键优点是,它通过明确关注配体 - 靶标相互作用,将先前的物理化学域知识纳入基准测试过程,从而创建了一种高效的工具,不仅用于评估分子生成型输出,而且还用于丰富富含分子生成的输出。一般而言,药物发现过程。
translated by 谷歌翻译
素描和项目是一个框架,它统一了许多已知的迭代方法来求解线性系统及其变体,并进一步扩展了非线性优化问题。它包括流行的方法,例如随机kaczmarz,坐标下降,凸优化的牛顿方法的变体等。在本文中,我们通过新的紧密频谱边界为预期的草图投影矩阵获得了素描和项目的收敛速率的敏锐保证。我们的估计值揭示了素描和项目的收敛率与另一个众所周知但看似无关的算法家族的近似误差之间的联系,这些算法使用草图加速了流行的矩阵因子化,例如QR和SVD。这种连接使我们更接近准确量化草图和项目求解器的性能如何取决于其草图大小。我们的分析不仅涵盖了高斯和次高斯的素描矩阵,还涵盖了一个有效的稀疏素描方法,称为较少的嵌入方法。我们的实验备份了理论,并证明即使极稀疏的草图在实践中也显示出相同的收敛属性。
translated by 谷歌翻译
制药公司在严格监管且高度危险的环境中运营,单张单击可以导致严重的财务影响。因此,临床试验结果的公告倾向于确定事件的未来过程,因此受到公众的密切监视。在这项工作中,我们为结果颁布对公共药品市场价值的影响提供了统计证据。尽管大多数工作都集中在回顾性影响分析上,但本研究旨在预测公告诱发的股票价格变化的价值。为此,我们开发了一条管道,其中包括一个基于BERT的模型,用于提取公告的情感极性,一种用于预测预期回报的时间融合变压器,用于捕获事件关系的图形卷积网络以及预测价格变化的梯度提升。问题的挑战在于对正面和负面公告的反应固有不同的模式,反映在对负面新闻的更强烈,更明显的反应中。此外,在积极公告后,股票下降的现象肯定了价格行为的违反直觉。重要的是,我们发现了在预测框架内工作时应考虑的两个关键因素。第一个因素是该公司的药物组合规模,表明在小型药物多样化的情况下,公告的敏感性更大。第二个是与同一公司或诺斯科有关的事件的网络效应。所有发现和见解都是根据最大的FDA(食品药品监督管理局)公告数据集获得的,该数据集由过去五年中681家公司的5436个临床试验公告组成。
translated by 谷歌翻译
近年来,生成设计技术已在许多应用领域,尤其是在工程领域中牢固地建立。这些方法证明了由于前景有希望的增长。但是,现有方法受到考虑的问题的特异性受到限制。此外,它们不提供所需的灵活性。在本文中,我们为任意生成设计问题制定了一般方法,并提出了名为Gefest(编码结构的生成进化)的新颖框架。开发的方法基于三个一般原则:采样,估计和优化。这样可以确保方法调整特定生成设计问题的方法的自由度,因此可以构建最合适的方法。进行了一系列实验研究,以确认Gefest框架的有效性。它涉及合成和现实情况(沿海工程,微流体,热力学和油田计划)。 Gefest的柔性结构使得获得超过基线溶液的结果。
translated by 谷歌翻译
这项调查旨在全面概述用户与推荐系统之间的相互作用和M&S应用程序之间的相互作用的最新趋势(M&S),以改善工业推荐引擎的性能。我们从实施模拟器的框架开发的动机开始,以及它们用于培训和测试不同类型(包括强化学习)的推荐系统的使用。此外,我们根据现有模拟器的功能,认可和工业有效性提供了新的一致分类,并总结了研究文献中发现的模拟器。除其他事情外,我们还讨论了模拟器的构建块:合成数据(用户,项目,用户项目响应)的生成,用于模拟质量评估的方法和数据集(包括监视的方法)和/或关闭可能的模拟到现实差距),以及用于汇总实验仿真结果的方法。最后,这项调查考虑了该领域的新主题和开放问题。
translated by 谷歌翻译
多任务学习经常用于对一组相同功能集的一组相关响应变量进行建模,从而相对于分别处理每个响应变量的方法提高了预测性能和建模精度。尽管多任务学习的潜力比单任务替代方案具有更强大的推理,但该领域的先前工作在很大程度上忽略了不确定性量化。我们在本文中的重点是神经影像学中常见的多任务问题,其目标是了解多个认知任务分数(或其他主题级评估)与从成像收集的脑连接数据之间的关系。我们提出了一个选择性推断以解决此问题的框架,并具有以下灵活性:(i)通过稀疏性惩罚共同确定每个任务的相关协变量,(ii)基于估计的稀疏性在模型中进行有效推理结构体。我们的框架为推理提供了新的有条件过程,基于选择事件的改进,该事件产生了可拖延的选择调整后的可能性。这给出了最大似然推理的估计方程式的近似系统,可通过单个凸优化问题解决,并使我们能够在大约正确的覆盖范围内有效地形成置信区间。我们的选择性推理方法应用于青少年认知大脑发展(ABCD)研究的模拟数据和数据,比常用的替代方案(例如数据拆分)产生了更紧密的置信区间。我们还通过模拟证明,与单任务方法相比,具有选择性推理的多任务学习可以更准确地恢复真实信号。
translated by 谷歌翻译
成像Cherenkov Telescopes Taiga-IACT位于共和国Buryatia的Tunka山谷,在短时间内积累了大量数据,必须有效和快速地分析。这种分析方法之一是机器学习,近年来已经证明了许多技术和科学领域的有效性。这项工作的目的是研究机器学习应用程序的可能性,解决Taiga-IACT设置的任务:鉴定宇宙射线的主要粒子和重建它们的物理参数。在该工作中,应用了卷积神经网络(CNN)的方法来处理和分析与Corsika模拟的Monte-Carlo事件。还考虑了处理的各种CNN架构。已经证明,该方法在确定广泛的空气淋浴(EAS)的主要颗粒类型和伽马射线能量的重建中提供了良好的结果。在立体观察的情况下,结果得到了显着改善。
translated by 谷歌翻译